Tháng 4 năm 1947, ông được điều vào Quân đội nhân dân Việt Nam làm Phái viên Chính trị Khu 10, rồi Trưởng phòng Chính trị Liên Khu 10 - Quân khu ủy viên. Từ đây, ông bắt đầu một cuộc đời binh nghiệp, tham gia chiến đấu tại nhiều chiến trường. Tháng 7 năm 1948, ông được cử làm Chính ủy - Bí thư Đảng ủy Trung đoàn Sông Lô.

Tháng 9 năm 1949, ông được Bộ Quốc phòng cử làm Trưởng đoàn cán bộ quân sự vào tăng cường cho chiến trường Nam Bộ, Nam tiến lần thứ nhất. Tháng 7 năm 1950, ông làm Phái viên Kiểm tra Bộ Tư lệnh Nam Bộ. Tháng 11 năm 1950, ông làm Chính ủy - Bí thư Đảng ủy Trung đoàn Tây Đô (Khu 9), Chỉ huy phó Chiến dịch Long Châu Hà II và Chiến dịch Sóc Trăng II. Cuối năm 1951, ông làm Chính ủy - Bí thư Đảng ủy Trung đoàn Cửu Long (Phân Liên khu miền Tây Nam Bộ). Tháng 10 năm 1952, ông làm Trưởng phòng Chính trị rồi Chủ nhiệm Chính trị Phân Liên khu miền Tây Nam Bộ - Quân khu ủy viên, ủy viên Ban Tuyên huấn và ủy viên Ban Tổ chức Trung ương Cục miền Nam.

Năm 1955, ông tập kết ra Bắc phụ trách Ban Đại diện miền Tây Nam Bộ. Tháng 12 năm 1955, ông làm Chủ nhiệm Chính trị Liên khu 3 - Quân khu ủy viên.

Tháng 7 năm 1956, ông làm Chính ủy Ban Nghiên cứu Sân bay. Tháng 12 năm 1958, ông được phong quân hàm Thượng tá. Tháng 1 năm 1959, ông làm Chính ủy - Bí thư Đảng ủy đầu tiên của Cục Không quân.

Tháng 10 năm 1964, ông trở lại chiến trường Nam Bộ trên con tàu "không số" (Đoàn 125) với bí danh là Hoàng Dân tức Tư Dân, Nam tiến lần thứ hai. Lúc này, Quân ủy Trung ương và Bộ Quốc phòng có chủ trương thành lập một sư đoàn chủ lực của Quân Giải phóng miền Nam ở miền Tây Nam Bộ. Ông về thẳng miền Tây để chuẩn bị cho việc thành lập sư đoàn này và đảm nhiệm chức vụ Chính ủy sư đoàn, nhưng vì nhiều lý do khách quan nên sư đoàn này không thành lập được.

Tháng 12 năm 1964, ông làm Phó Chính ủy Quân khu 8 (Trung Nam Bộ). Tháng 7 năm 1965, ông về miền Đông tham gia thành lập Sư đoàn 9 - Sư đoàn chủ lực đầu tiên của Quân Giải phóng miền Nam, làm Phó Chính ủy - Phó Bí thư Đảng ủy kiêm Chủ nhiệm Chính trị đầu tiên của Sư đoàn 9.

Tháng 2 năm 1966, ông được thăng quân hàm Đại tá. Tháng 8 năm 1966, ông về Mặt trận Tây Nguyên (B3) làm Chính ủy - Bí thư Đảng ủy Sư đoàn 1, Đảng ủy viên Mặt trận B3; ông đã cùng Tư lệnh sư đoàn Nguyễn Hữu An chỉ huy, chỉ đạo Sư đoàn 1 đánh nhiều trận hay, đặc biệt là đánh thiệt hại nặng Lữ dù 173 của Mỹ trong Chiến dịch Đắc Tô 1 trên đồi 875 ở phía tây bắc Kon Tum vào mùa đông năm 1967. Tháng 1 năm 1969, ông làm Chính ủy - Bí thư Đảng ủy Sư đoàn 304.

Đại tướng Võ Nguyên Giáp (đứng giữa hình) - Bộ trưởng Bộ Quốc phòng vào thăm và làm việc với Bộ Tư lệnh Trường Sơn và Bộ Chỉ huy Mặt trận 968 tại Quảng Bình cuối năm 1970, bàn mở đường tiêu chuẩn đông Trường Sơn và chuẩn bị cho chiến dịch phản công Đường 9 - Nam Lào (Hoàng Thế Thiện ngồi thứ nhất từ phải sang).

Tháng 7 năm 1970, ông được điều vào tuyến lửa Trường Sơn, làm Phó Chính ủy - Thường vụ Đảng ủy Mặt trận 968 Nam Lào rồi tham gia chiến dịch Đường 9 - Nam Lào (tháng 1 năm 1971). Tháng 6 năm 1971, ông làm Phó Chính ủy - Thường vụ Đảng ủy Bộ Tư lệnh Trường Sơn (Đoàn 559) kiêm Chính ủy - Bí thư Đảng ủy Bộ Tư lệnh khu vực 470 (tương đương Sư đoàn). Tháng 5 năm 1973, ông làm Chính ủy - Phó Bí thư rồi Bí thư Đảng ủy Bộ Tư lệnh Trường Sơn.

Ngày 16 tháng 4 năm 1974, ông được thăng quân hàm Thiếu tướng theo Lệnh số 21-LCT của Chủ tịch nước Việt Nam Dân chủ Cộng hòa Tôn Đức Thắng.

Tháng 2 năm 1975, ông được điều vào chiến trường B2 (Nam Bộ), Nam tiến lần thứ ba, làm Chính ủy đầu tiên - Bí thư Đảng ủy Quân đoàn 4, Phó Chính ủy - Thường vụ Đảng ủy Mặt trận phía Đông thuộc Bộ Tư lệnh B2. Ông trực tiếp chỉ huy hướng tiến công Dầu Tiếng - Chơn Thành. Tháng 4 năm 1975, ông tham gia chỉ huy cánh quân hướng Đông - một trong năm cánh quân tiến vào giải phóng Sài Gòn trong Chiến dịch Hồ Chí Minh.

Tháng 12 năm 1976, ông được bầu làm Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa IV.

Tháng 4 năm 1977, ông làm Thứ trưởng Bộ Quốc phòng kiêm Chủ nhiệm Tổng cục Xây dựng Kinh tế - Bí thư Đảng ủy Tổng cục.

Từ tháng 10 năm 1978 đến tháng 6 năm 1982, ông làm Thứ trưởng Bộ Quốc phòng, Trưởng ban Ban B.68 Trung ương Đảng Cộng sản Việt Nam, Bí thư Đảng ủy Đoàn Chuyên gia Việt Nam toàn Campuchia, Cố vấn cho Tổng Bí thư Đảng Nhân dân cách mạng Campuchia, Phó Tổng đoàn chuyên gia Việt Nam tại Campuchia, Phó Tư lệnh Chính trị Quân tình nguyện Việt Nam tại Campuchia kiêm Trưởng đoàn chuyên gia quân sự Việt Nam tại Campuchia (đoàn 478).